Kha Vạng Cân sinh ngày 16 tháng 10 năm 1908 tại Chợ Lớn, trong một gia đình tiểu tư sản thành thị, là con trai thứ hai của ông Kha Ư Phúc. Cha ông đã rất kì vọng vào ông khi thấy ông sớm bộc lộ trí thông minh và có ý chí.

Năm 1926, khi đang học năm thứ hai, khóa 3 của tú tài bản xứ tại trường Chasseloup Laubat, do tham gia bãi khóa nhân lễ tang Phan Châu Trinh, ông bị đuổi học[1]. Cũng năm này, ông trốn gia đình sang Pháp học tiếp.